sy/dev

#LLM inference

2 posts tagged

Paper Review07.0821 min read

[AI Search] Language Models Need Sleep: 긴 컨텍스트를 잠자는 동안 압축하는 법

Language Models Need Sleep 논문을 AI Search stack 관점에서 읽는다. 긴 컨텍스트를 매번 attention cache에 들고 가는 대신, eviction 직전에 여러 번의 offline recurrent pass로 SSM fast weights에 통합하는 sleep 메커니즘이 왜 long-context reasoning과 retrieval-augmented agent runtime에 중요한지 정리한다.

#AI Search#long-context#SSM+4
Paper Review07.0822 min read

[AI Search] QKV Projection Sharing: Transformer는 정말 Q, K, V 세 개가 모두 필요할까

Do Transformers Need Three Projections? 논문을 AI Search stack 관점에서 읽는다. Query, Key, Value projection을 일부 공유해도 품질을 크게 잃지 않으면서 KV cache를 줄일 수 있는지, Q-K=V가 왜 실용적인 절충점인지, GQA/MQA와 결합하면 on-device·edge search serving에 어떤 의미가 생기는지 정리한다.

#AI Search#Transformer#QKV+4